PyTorch
BERT inference 标签描述
原因： 不同长度文本pad一致长度，添加pad后会对预测有一丢丢影响，虽然mask会抵消大部分影响，但是还是会一留下一点点影响。 解决办法： 多次采用不同的batch_size测试模型，发现离模型训练使用的batch_size越近，与单条预测的结果差别越小，因此推荐结合实际情况，选用与训练batch_size相近的数目。
原因： 不同长度文本pad一致长度，添加pad后会对预测有一丢丢影响，虽然mask会抵消大部分影响，但是还是会一留下一点点影响。 解决办法： 多次采用不同的batch_size测试模型，发现离模型训练使用的batch_size越近，与单条预测的结果差别越小，因此推荐结合实际情况，选用与训练batch_size相近的数目。
